Empowering GUI Agents via Autonomous Experience Exploration and Hindsight Experience Utilization for Task Planning
利用自主经验探索与后见经验提升GUI代理任务规划能力
🧭 GUI Agent · 经验回放与任务规划
Institute of Automation, Chinese Academy of Sciences · University of Chinese Academy of Sciences
提出PEEU方法，通过自主环境探索与后见经验构造高层次训练数据，显著提升小型MLLM的规划与跨网站泛化能力
📌 工作参考价值（4 点）
- 后见经验构造训练数据：将失败/成功的交互轨迹反向转化为严格对齐的规划级训练样本，可借鉴到电商Agent的购物任务拆解中，用用户实际浏览-购买路径生成高质量指令数据。
- 自主环境探索：让Agent在生产前自动探索网站结构并积累操作经验，类似推荐系统中的冷启动探索，适合构建电商网页的预训练经验库，减少人工标注。
- 分层任务分解视角：TDHAF框架揭示高层次任务训练比原子技能训练更利于分布外泛化，提示在构建购物助手时应优先训练完整任务流（如“比价后下单”），而非单个点击指令。
- 小型MLLM潜力：7B模型超越32B模型，证明通过数据策略可压缩模型成本，适合边缘部署的电商隐私保护场景。